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@ Multisensorielle Kamera fur die Qualitatssicherung 

@ £s wird eine multisensorielle Kamera fur die Qualhatskon- 
trolle und Sortierung von Insbesondere Schuttstromproduk- 
ten beschrieben, bei walcher verschiedene auf unterschiedli- 
chen physikalischen Prinzipien arbettenden bildgebenden 
Sensoren wie s/w und Farbkameras, bildgebende 3D Senso- 
ren. bildgebende Sensoren, welche mit durchdringender 
Strahiung arbeiten, bildgebende NIR Spektroskopie Senso- 
ren gemeinsam eingesetzt werden. Die unterschtedlichen 
Sensoren sind so angeordnet da& sle das gleiche Bildfetd 
erfassen und sich entsprechende Bildpunkte der Sensoren 
auf gleiche Bildpunkte der ProduktoberflSche beziehen. Die 
Signale der unterschiedlichen Sensoren werden nnit Hilfe 
eines Klassiflkators bildpunktweise in ein Klassenbild umge- 
wandelt. bei welchem jedem Bildpunkt ein Code zugeordnet 
wird. welcher seine Zugehorigkeit zu einer von zahlreichen. 
, vorher gelernten Klassen entspricht. 
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Zahlreiche bahnformig produzierte Produkte wie 
Holz, TextUbahnen, im Schuttstrom produzierte Le- 
bensmittel aber auch Plastikabfftlle etc. werden mit Hil- 
fe von Kameras und angeschlossenen Biidverarbei- 
tungsrechner auf ihre Qualitat bin untersucht und sor- 
tiert Hierbei werden oft Zeiien- oder Matrixkaxneras 
angewandt, wobei die Bildverarbeitung sicb auf die Ver- 



punktkiassifikatcr eine robuste Segmentierung und 
Identifikation durchzufuhrea Dies trifft umso starker 
zu, je kleiner die zu beobachtenden Produkte und je 
weniger bekannt ihre Geschwindigkeit und aktuelle 
Raumlage ist 

Als typisches Anwendungsbeispiel sei die automatic 
sche Sortierung von Abfall in geshredderter Form ge- 
nannt In einem solchen Schattstrom befinden sich Me* 
tall und KunststoffabfSIle gemischt; diese sind nur durch 



arbeitung der Signale von s/w Kameras oder von Farb- lo die Kombination von Farbbildverarbeitung, bildgeben- 

kameras beschr§nkt Es gibt aber zahlreiche Situatio- der Metalldetektion (z. R durch Rdntgenkameras) und 

nen, wo die Information, welche lediglich aus einem bildgebender NIR-Spektroskopie (zur Erkennung der 

Grauwert oder aus einem Farbbild gewonnen werden Kunststoffsorte) zu erreichea Da solche Abfalle unge- 

kann, nicht ausreicht; um eine deutliche Qualitatsaussa- ordnet als Schuttstrom uber Rutschen oder Fdrderban- 

ge zu treffea So ist es z. B. notig, zur Kontrolle von 15 der gefiihrt werden, ist derzeit die optische Sortierung 



komigen Lebens- und Futtermitteln, von Kunststoffgra- 
nulaten oder ahnlichen auf einem Band oder auf einer 
Rutsche gefflhrten Produkte diese mit Hilfe der Bildver- 
arbeitung vom Hintergrund zu segmentieren, um ihre 
SollgroBe ausmessen zu kdnnen. Solange sich die Pro- 
dukte nicht berflhren und der Hintergrund sich in einem 
Grauwert- oder Farbkontrast zu dem Produkt selber 
unterscheidet, sind Methoden der Bildverarbeitung be- 
kannt, welche in der Lage sind automatisch den Rand 



durch gleichzeitigen Einsatz vieler bildgebender Senso- 
ren mit unterschiedlichem physikalischen MeBprinzip 
noch nicht moglich. 
ErfindungsgemaB wird diese Aufgabe dadurch geldst, 
20 daB in einem gemeinsamen Strahlengang alle oder eine 
Untermenge von bildgebenden Sensoren mit unter- 
schiedlichem MeBprinzip wie schwarz/weiB Kamera, 
Farbkamera, biklgebende 3D-Sensor, bildgebender 
durchdringender Sensor, bildgebender Stof&ensor alle 
dieser Produkte zu ermitteln und anhand dieser Kontur 25 zusanunensoangeordnetsind^daBsiegleicheBildpunk- 
und der eingescfalossenen Flache Qualititsmerkmale te des zu eif assenden Produktes beobachten. Bin welte- 
wie Grdfie, ungestdrte Oberflache usw. automatisch zu rer Erfindungsgedanke ist es^ die einzehien Sensoren 
ermitteln. MASSEN hat in der Patentanmeldung mechanisch und optisch zueinander so zu verankem, 
P43 37 125.6 "Optische Inspektion von Schiittstrom- daB die von jedem Sensor beobachteten Bildpunkte in 
Produkten" ein System vorgesteUt, bei welchem zusatz- 30 einem wohlbekannten geometrischem Abstand zu den 
lich zu einer s/w- oder Farbkamera ein besonderer bild- Bildpunkten der anderen Sensoren liegen und durch 
gebender 3D Sensor verwendet wird, mit dem ein Ho- zeitUch versetztes Auslesen synchronisiert werden. 
henbild aus den Schflttstromprodukten gewonnen wird, Ein weiterer ErFmdungsgedanke ist es, die Bildsignale 
aus welchem auch dann noch die Render der Produkte dieser Sensoren bildpunktweise mit Hilfe eines multi- 
zu ermitteln sind, wenn sie sich so berfihren, daB der 35 sensoriellen Klassifikators zu einem Klassenbild zu ver- 



Hintergrund nicht mehr sichtbar ist 

In anderen Fallen wie z. B. bei der Untersuchung von 
Kunststoffabfailen, welche im Schuttstrom transportiert 
werden, muB das Vorhandensein von Restinhalten de- 
tektiert werden. Es ist z. B. zwingend notig zu erkennen, 40 
ob sich in Mineraidlflaschen noch Olreste befinden, da 
diese getrennt entsorgt werden mfissen und nicht zu- 
sammen mit den anderen Kunststoffen granuliert wer- 
den durfen. Hierzu konnen durchdringende Verfahren 
wie z. B. die bildgebende R5ntgensysteme oder durch- 45 
strahlende Mikrowellensysteme mit einer bildgebenden 
Detektion der lokalen Transmissionsverluste eingesetzt 
werden. Wichtig ist besonders bei der optischen Sortie- 
rung von Kunststoffabfailen, dafi die Kunststoffe nach 



dichtea Unter einem Klassenbild versteht man ein Bild, 
bei welchem jedem Bildpunkt ein Klassencode zugeord- 
net ist, d h. die Zugehorigkeit zu einer vorher gelernten 
Klasse bezeichnet 

Es sind aus der Patentanmeldung von MASSEN 
DE 36 39 636 Al "Automatische Inspektion von Textil- 
bahnen" Verfahren bekannt wie Klassenbilder mit Hilfe' 
von lemf ahigen Tabellen erzeugt werden, so da3 in Vi- 
deo-Echtzeit aus einem mehrdimensionalen Signal z. B. 
einem Farbsignal ein Farbklassensignal in Echtzeit er- 
zeugt wild. Diese Farbkiassensignale sind im Gegensatz 
zu den Farbsignalen keine vektoriellen Signale mehr, 
sondem skalare Signale und konnen daher leicht mit 
bekannten Verfahren der binaren Bildverarbeitung wie 



Farbe und Stoffsorte sordert werden. Hierzu konnen 50 z. B. der Blob-Analyse weiterverarbeitetwerdea 
Z.B. neben Farbkameras bildgebende NIR-Spektro- ErHndungsgem&B werden die Signale der unter- 
skopiesensoren oder ihnlich, auf die Materialeigen- * schiedlichen bildgebenden Sensoren mit einem solchen 
schaften ansprechende bildgebende Sensoren einge- mehrdimensionalen Klassifikator zu einem skalaren 
setzt werdea Farbklassenbild verdichtet und dann mit bekannten Me- 

In der Regel sind soiche unterschiedlichen Sensoren 55 thoden der Bildverarbeitung weiter verarbeitet 
getrennt voneinander aufgebaut, so daB es schwierig ist Oft sind die BildpunktgrdBen der unterschiedlichen 
die einzelnen Signale der einzelnen Sensoren so mitein- Sensoren ebenfalls unterschiedlich groB. So sind z. B. 
ander zu verkntipfen, daB die uberlagerten Bildpunkte hochaufldsende Farbkameras verfiigbar, w^end die 
aller eingesetzten Sensoren den gleichen Stellen des be- Herstellung von bildgebenden NIR-Spektroskopiesens- 
obachteten Gutes entsprechen. Dies ist insbesondere so oren nur fur reladv grobe Bildpunkte moglich ist Erfin- 
dann kaum mdglich, wenn das zu beobachtende Gut dungsgemSB erfolgt eine Anpassung der Bildpunkte da- 
z. B. in Form eines Schuttstromes mit einer variablen durch, dafi alle kleineren Bildpunkte zu einem grdBeren 
und wenig bekannten Geschwindigkeit auf einer Rut- zusammengefaBt werden, welcher dem grdberten ent- 
sche beobachtet werden muB. Nur bei einer entspre- sprichL Diese Zusammenfassung kann sowohl durch 
chenden Zuordnung der sich entsprechenden Bildpunk- 65 Wahl entsprechender optischer Abbildungselement ge- 
te aller unterschiedlichen Sensoren ist es mdglich, durch schehen als auch durch elektronische Verfahren wie lo- 
eine Klassifikation der von jedem Sensor pro Bildpunkt kale Mlttelwertbildung. Insbesondere bei digitalisierten 
gelieferten Signalen in einem mehrdimensionalen Bild- Bildpunktsignaten ist es bekannt, Gnippen von Bild- 
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punkten zu einem Makro-Bildpunkt zusammenzufassen. 

Audi der umgekehrte Weg kann je nach Aufgaben- 
stellung sinnvoU sein, namlich die Aufteilung ernes gro- 
ben Bildpunktes auf em feineres Bildpunktraster. Auch 
sind insbesondere auf der elektronischen Seite solche 5 
Verfahren dem Fachmann der BUdverarbeitung wohl 
bekannt 

In alien Fallen wird es daher mdglich sein, bildpunki- 
weise aufgeteilte Signale von alien Sensoren zu crhal- 
ten, welche dem gleichen Ort des beobachteten Produk- 10 
tes entsprechen. 

Patentansprilche 

1. Verfahren zur optischen Qualitatskontrolle von 15 
Produkten» dadurch gekennzeichnet, dafi mit Hilfe 
einer Anzahl von bildgebenden Sensoren, welche 
auf physikalisch verschiedenen MeBprinzipien be- 
ruhen, in einem gemeinsamen Bildfeld gleiche Stel- 
lendesProduktesbikihaftsoerfaQtwerdendaBdie 20 
sich entsprechenden Bildpunkte aller Sensoren 
gleiche Punkte der Produktoberflache erfassen. 

2. Verfahren nach Anspruch 2, dadurch gekenn- 
zeichnet, daB die verschiedenen Sensoren aus der 
gesamten Aufzahlung oder einer Untermenge fol- 25 
gender bildgebenden Sensoren bestehen, namlich 
schwarz/weiB-Bildsensor, Farbbildsensor, 3D-Bild- 
sensor. NIR-Spektroskopie-Bildsensor, mit durch- 
dringender Strahlung arbeitender Bildsensor, Ther- 
mographie-Bildsensor, Fluoreszenz-Bildsensor. 30 

3. Verfahren nach Anspruch 1 bis 2 dadurch ge- 
kennzeichnet, daB bei Sensoren nut unterschiedli- 
cher Bildpunktgr6Be eine einheitliche Bildpunkt- 
groBe dadurch geschaffen wird. daB die Bildpunkte 
von Sensoren mit kleineren Bildpunkten so zusam- 3s 
mengefaBt werden, daB sie denjenigen Bildpunkten 
der Sensoren mit grdberer Bildaufldsung entspre- 
chen. 

4. Verfahren nach Anspruch 1 bis 2 dadurch ge- 
kennzeichnet, daB bei Sensoren mit unterschiedli- 40 
cher Bildpunktgrdfie eine einheitliche Bikipunkt- 
grdfie dadurch geschaffen wird, daB die BUdpunkte 
von Sensoren mitgrfiBeren BOdpunkten so aufge- 
teilt werden, daB sie denjenigen Bildpunkten der 
Sensoren mit feinerer Bildaufldsung entsprechen. 45 

5. Verfahren nach Anspruch 1 bis 2, dadurch ge- 
kennzeichnet, daB die Signale aller oder einer Un- 
termenge dieser Sensoren bildpunktweise mil Hilfe 
eines Klassifikators so ausgewertet werden, daB ein 
Klassenbild erzeugt wird, bei welchem fflr jeden 50 
Bildpunkt ein Code ermittelt wird, welcher die Zu- 
gehdrigkeit dieses Bildpunktes zu einer KJasse aus 
einer Anzahi vorher gelernten KJasse angibt 

6. Verfahren nach Anspruch 1 bis 5, dadurch ge- 
kennzeichnet, daB das Klassenbild mit Verfahren 55 
der Biidverarbeitung weiter verarbeitet wird um 
Qualitats- und Sortierkriterien f Or die erfaBten Pro- 
dukte abzuleitea 

7. Verfahren nach 1 bis 6 dadurch gekennzeichnet, 
daB die einzelnen Sensoren mechanisch starr ziiein- 60 
ander angeordnet sind und so zu unterschiedlichen 
Zeitpunkten abgefragt werden, daB die Bildpunkt- 
signale aller Sensoren sich nach dieser Abfrage auf 
ortlich gleiche Bildpunkte des erfaBten Produktes 
beziehen. 65 

8. Verfahren nach Anspruch I bis 7, dadurch ge- 
kennzeichnet daB die bildgebenden Sensoren die 
Produkte matrix- und/oder zeilenformig erfassen. 
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9. Anordnung zur Durchfiihrung des Verfahrens 
nach Anspruch 1 bis 2. dadurch gekennzeichnet. 
daB unterschiediiche bildgebende Sensoren in einer 
mechanisch und optisch festen Halterung ange- 
bracht sind, daB Qber Strahlfuhrungselemenle die 
optische Abbildung aller Sensoren auf ein gemein- 
sames, bildpunktmaBig ausgerichtetes Bildfeld ge- 
lenkt wird und daB die elektrischen Signale bild- 
punktweise an einen Rechner abgegeben werdea 
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